| min rank | avg. rank | sentence |
|---|---|---|
| 5933 | 27760.8333 | Rikaste TOP: toidutööstuse "paha poiss" |
| 5788 | 15394.4000 | Fotol Edgar Savisaare kriminaalasja menetlustoimingud. |
| 4920 | 45683.4444 | "Turismitunni" saatejuht Gregor Alaküla Kiviõli Seikluskeskuses kohalikku meeleolu kraadimas. |
| 4119 | 8769.1429 | Raske õnnetuse täpsemad asjaolud selgitatakse alustatud kriminaalmenetluses. |
| 3895 | 39301.7143 | Nikita esindab kubi Estonian Academy of Kickboxing. |
| 3849 | 29788.0000 | Jevgeni Kabanov: Musk korraldas tõelise show! |
| 3773 | 49435.8000 | Väliskülalistest Norrast Nina Lykke, Saksamaalt Klaus Modick, Soomest Juha Hurme. |
| 3772 | 10707.0000 | Sinu teenusepakkujad suhtlevad üldjuhul sinuga emakeeles. |
| 3672 | 39611.5714 | Järgmine kriimu näoga hirmunud "võitleja" - Roman Gavrilov. |
| 3548 | 24656.5000 | Autasustatavate nimed avaldame 28. septembri lehes. |
| 3542 | 26153.0000 | Rail Baltica raudtee põhitrassi ehitamist alustatakse Kohila vallast. |
| 3441 | 41776.8750 | Smirnovi lohepildi hindas žürii vähimagi kahtluseta üksmeelselt parimaks. |
| 3413 | 4858.5000 | Pagulasabi korraldab üritusi ukrainlastele. |
| 3237 | 41111.6667 | Segakoori Kosk 40. aastapäeva kontsert - 03.08. |
| 3233 | 54240.6667 | Nõmme kogudust iseloomustas pastor palvetava kogudusena. |
| 3201 | 80927.6667 | Kosutav loodusretk perega Saka mõisa matkaradadel. |
| 3183 | 58553.1667 | Idüllilises maakohas viktoriaanliku ajastu maalide stiilis lavastatud lühistseene ühendavad realistlikumas võtmes kaadrid Helgi reisist Ida-Helsingisse külla tütre perele. |
| 3084 | 29237.5714 | Paul Kerest esindab saali astunud Oliver Nääs. |
| 3071 | 15780.4000 | Nimekiri välisklubides meistriks kroonitud eestlastest! |
| 3022 | 65882.5714 | "Armastage, ärge targutage!", näib Miller filmiga ütlevat. |
| 3022 | 17490.5556 | Foto näib kinnitavad raketitabamust, teatavad sõltumatud avalike allikate analüütikud. |
| 2986 | 42950.2500 | Prantsuse rahvusassamblee tänane istung. |
| 2982 | 34075.4000 | Siiani toimib soome-ugri kultuuripealinnade liikumine. |
| 2901 | 33646.0000 | Kirik keset küla – Pilistvere kogudus 800 - 24.08. |
| 2858 | 16535.2857 | "Muutustega kasvavad pinged, tõusevad tormid, tekivad konfliktid. |
| 2801 | 43920.5000 | Viimane punkt avas raja läbinutele aardelaeka. |
| 2706 | 10169.7778 | Etapivõidu noppis enamuse võistlusest liidrikohta hoidnud Max Verstappen. |
| 2659 | 20191.7500 | Võru kunstikooli tantsutrupp Katariina tantsuga "Puhas leht" (10.-12. |
| 2631 | 30855.6875 | Kohus vabastas Viru maakohtu Jõhvi kohtumaja teisipäevase määrusega tingimisi ennetähtaegselt vanglast eluaegse vangi Romeo Kalda. |
| 2631 | 19291.1429 | Viru Keemia Grupi Ojamaa kaevanduse põlevkivi koormatäis. |
In contrast to subsection 4.5.2.1 we now search for sentences consisting of rare words only. The sentences are ordered by the rank of the most frequent word in a sentence. In the table, we see the corresponding sentences with a minimum length of 40 characters.
The sentences are forced not to contain any everyday word. As a consequence, we get either sentences of some very reduced structure or sentences in some foreign language. Hence, the data are useful for the evaluation of the preprocessing, especially language detection.
select min(w_id)-100 as m, avg(w_id)-100 as a, s.sentence from sentences s, inv_w i where s.s_id=i.s_id and length(sentence)>40 and i.w_id>100 group by s.s_id order by m desc limit 30;
Should we remove the sentences having its least frequent word above some threshold?
4.5.2.1 Maximum word rank in sentence
4.5.2.2 Average word rank in sentence
4.5.2.4 Sentences consisting of many low frequency words II
4.5.2.5 Sentences consisting of short words only I
4.5.2.6 Sentences consisting of short words only II
4.5.2.7 Sentences consisting of long words only I
4.5.2.8 Sentences consisting of long words only II